โมเดลการดำเนินงานของ CUDA ทำให้คอมพิวเตอร์ของคุณกลายเป็นระบบไฮเปอร์เทอร์เจนัสประสิทธิภาพสูง ลองนึกภาพ ผู้กำกับใหญ่ (โฮสต์/ซีพียู) และกองทัพหมื่นคน กองทัพหมื่นคน (อุปกรณ์/จีพียู)ผู้กำกับใหญ่จัดการตรรกะที่ซับซ้อนและการตัดสินใจ ขณะที่กองทัพดำเนินงานหนักๆ แบบซ้ำๆ พร้อมกัน
1. ความแตกต่างด้านสถาปัตยกรรม
โฮสต์ โฮสต์ เป็นซีพียูที่ปรับให้ลดเวลาหน่วง (latency) โดยออกแบบมาเพื่อการควบคุมตรรกะที่ซับซ้อน และงานแบบลำดับขั้นตอน ตรงข้ามกับ อุปกรณ์ เป็นจีพียูที่ปรับให้เพิ่มผลผลิต (throughput) ประกอบด้วยคอร์ง่ายๆ หลายพันตัว ถูกออกแบบมาเพื่อประมวลผลคำสั่งเดียวกันพร้อมกันบนชุดข้อมูลขนาดใหญ่
2. จังหวะการดำเนินงาน
โปรแกรม CUDA จะทำงานเป็นช่วงๆ ตามลำดับ การดำเนินงานเริ่มต้นที่โฮสต์สำหรับโค้ดแบบลำดับ พอโปรแกรมพบกับ "เคอร์เนลแบบขนาน" มันจะเริ่มส่ง กริด ของเธรดไปยังอุปกรณ์ เมื่ออุปกรณ์เสร็จงานหนักๆ แล้ว คอนโทรลจะกลับไปที่โฮสต์
3. การเฉพาะทางด้านประสิทธิภาพ
โมเดลนี้ใช้ประโยชน์จากจุดแข็งของทั้งสอง: ซีพียูจัดการทรัพยากรระบบและสาขาที่ซับซ้อน ส่วนจีพียูจะดำเนินการ SPMD (โปรแกรมเดียว ข้อมูลหลายชุด) ตรรกะเพื่อประมวลผลองค์ประกอบข้อมูลพร้อมกัน